Neural networks have achieved impressive results on many technological and scientific tasks. Yet, their empirical successes have outpaced our fundamental understanding of their structure and function. By identifying mechanisms driving the successes of neural networks, we can provide principled approaches for improving neural network performance and develop simple and effective alternatives. In this work, we isolate the key mechanism driving feature learning in fully connected neural networks by connecting neural feature learning to the average gradient outer product. We subsequently leverage this mechanism to design \textit{Recursive Feature Machines} (RFMs), which are kernel machines that learn features. We show that RFMs (1) accurately capture features learned by deep fully connected neural networks, (2) close the gap between kernel machines and fully connected networks, and (3) surpass a broad spectrum of models including neural networks on tabular data. Furthermore, we demonstrate that RFMs shed light on recently observed deep learning phenomena such as grokking, lottery tickets, simplicity biases, and spurious features. We provide a Python implementation to make our method broadly accessible [\href{https://github.com/aradha/recursive_feature_machines}{GitHub}].

在这项工作中，我们建立了一种算法和分布分布在模型大小，过剩测试损失和线性预测因子的训练损失之间的独立非质合权权衡。具体而言，我们表明，在测试数据上表现良好的模型要么是“经典” - 训练损失接近噪声水平，要么是“现代” - 比较了更多的参数。完全适合培训数据所需的最低限度。当白色特征的限制光谱分布是Marchenko-Pastur时，我们还提供了更精确的渐近分析。值得注意的是，虽然Marchenko-Pastur分析在插值峰附近更为精确，但参数的数量足以适应训练数据，但在最实际的利益的设置中，它与分布与仅由适度的乘法常数限制的分布有所不同。

过度参数化的神经网络的实际成功促进了最近对插值方法的科学研究，这些研究非常适合其训练数据。如果没有灾难性的测试表现，包括神经网络在内的某些插值方法（包括神经网络）可以符合嘈杂的训练数据，这是违反统计学习理论的标准直觉的。为了解释这一点，最近的一系列工作研究了$ \ textit {良性过拟合} $，这是一种现象，其中一些插值方法即使在存在噪音的情况下也接近了贝叶斯的最佳性。在这项工作中，我们认为，虽然良性过度拟合既具有启发性和富有成效的研究在测试时间的风险，这意味着这些模型既不是良性也不是灾难性的，而是属于中间状态。我们称此中级制度$ \ textit {perked forporting} $，我们启动其系统研究。我们首先在内核（Ridge）回归（KR）的背景下探索这种现象，通过在脊参数和核特征光谱上获得条件，KR在这些条件下表现出三种行为。我们发现，具有PowerLaw光谱的内核，包括Laplace内核和Relu神经切线内核，表现出了过度拟合的。然后，我们通过分类法的镜头从经验上研究深度神经网络，并发现接受插值训练的人是脾气暴躁的，而那些训练的人则是良性的。我们希望我们的工作能够使人们对现代学习过度拟合的过度理解。

随着宽度的增长，随着宽度的增长，随机初始化的宽神经网络过渡到重量的线性函数，在初始化周围的半径$ o（1）$中。该结果的必要条件是，网络的所有层都足够宽，即所有宽度都倾向于无穷大。然而，当违反这种无限宽度假设时，向线性的过渡会分解。在这项工作中，我们表明具有瓶颈层的线性网络学习重量的双线性功能，在初始化周围的半径$ O（1）$中。通常，对于$ b-1 $的瓶颈层，该网络是$ b $ bug tegriinear fungiers flows flowss a。重要的是，该度仅取决于瓶颈的数量，而不取决于网络的总深度。

现代神经网络通常具有很大的表现力，并且可以接受训练以使培训数据过高，同时仍能达到良好的测试性能。这种现象被称为“良性过度拟合”。最近，从理论角度出现了一系列研究“良性过度拟合”的作品。但是，它们仅限于线性模型或内核/随机特征模型，并且仍然缺乏关于何时以及如何在神经网络中发生过度拟合的理论理解。在本文中，我们研究了训练两层卷积神经网络（CNN）的良性过度拟合现象。我们表明，当信噪比满足一定条件时，通过梯度下降训练的两层CNN可以实现任意小的训练和测试损失。另一方面，当这种情况无法成立时，过度拟合就会有害，并且获得的CNN只能实现恒定的测试损失。这些共同证明了由信噪比驱动的良性过度拟合和有害过度拟合之间的急剧过渡。据我们所知，这是第一部精确地表征良性过度拟合在训练卷积神经网络中的条件的工作。

为优化方法建立快速的收敛速率对其在实践中的适用性至关重要。随着过去十年深入学习的普及，随机梯度下降及其自适应变体（例如，Adagagrad，Adam等）已成为机器学习从业者的突出方法。虽然大量作品已经证明，这些第一订单优化方法可以实现亚线性或线性收敛，但我们建立了随机梯度下降的局部二次收敛，具有自适应步长，矩阵反转等问题。

深度神经网络等现代机器学习系统通常高度参数化，以便它们可以完全符合嘈杂的培训数据，但它们仍然可以在实践中实现小的测试错误。在本文中，我们研究了线性分类问题的最大边缘分类器的“良性过度装备”现象。具体地，我们考虑从子高斯混合系统生成的数据，并为过参数化设置中的最大边距线性分类器提供紧密的风险。我们的结果精确地表征了线性分类问题中可能发生良性过度的条件，并改善以前的工作。它们也对过度参数化的逻辑回归有直接影响。

本文探讨了可变参数化模型系列的线性回归的概括性损失，包括在参数化和过度参数化的模型中。我们表明，泛化曲线可以具有任意数量的峰值，而且可以明确地控制这些峰的位置。我们的结果突出了经典U形泛化曲线和最近观察到的双下降曲线的事实不是模型系列的内在特性。相反，它们的出现是由于数据的性质与学习算法的感应偏差之间的相互作用。

Deep neural networks (DNNs) are often used for text classification tasks as they usually achieve high levels of accuracy. However, DNNs can be computationally intensive with billions of parameters and large amounts of labeled data, which can make them expensive to use, to optimize and to transfer to out-of-distribution (OOD) cases in practice. In this paper, we propose a non-parametric alternative to DNNs that's easy, light-weight and universal in text classification: a combination of a simple compressor like gzip with a $k$-nearest-neighbor classifier. Without any training, pre-training or fine-tuning, our method achieves results that are competitive with non-pretrained deep learning methods on six in-distributed datasets. It even outperforms BERT on all five OOD datasets, including four low-resource languages. Our method also performs particularly well in few-shot settings where labeled data are too scarce for DNNs to achieve a satisfying accuracy.

Hyperparameter tuning is critical to the success of federated learning applications. Unfortunately, appropriately selecting hyperparameters is challenging in federated networks. Issues of scale, privacy, and heterogeneity introduce noise in the tuning process and make it difficult to evaluate the performance of various hyperparameters. In this work, we perform the first systematic study on the effect of noisy evaluation in federated hyperparameter tuning. We first identify and rigorously explore key sources of noise, including client subsampling, data and systems heterogeneity, and data privacy. Surprisingly, our results indicate that even small amounts of noise can significantly impact tuning methods-reducing the performance of state-of-the-art approaches to that of naive baselines. To address noisy evaluation in such scenarios, we propose a simple and effective approach that leverages public proxy data to boost the evaluation signal. Our work establishes general challenges, baselines, and best practices for future work in federated hyperparameter tuning.